home *** CD-ROM | disk | FTP | other *** search
/ 2,000 Greater & Lesser Mysteries / 2,000 Greater and Lesser Mysteries.iso / security / mys01894.txt < prev   
Encoding:
Text File  |  1994-06-10  |  5.8 KB  |  136 lines
  1. NCSA POLICY CONCERNING SECURITY PRODUCT REVIEWS
  2. February 17, 1990.
  3.  
  4.     Purpose: NCSA product reviews are intended to present
  5. complete, thorough, useful reviews of security products
  6. to the members of the NCSA.  This document's purpose is
  7. to set forth the NCSA policy concerning such reviews.
  8. This policy is open for discussion.
  9.  
  10.     Reviewers: Reviewers may be single individuals or
  11. "review teams."  Reviewers should have some knowlege of
  12. the application of the product, and should be capable of
  13. writing detailed reviews.  In the case of review teams,
  14. the teams may consist of expert users, as well as novice
  15. users.  The role of the novice user is to provide input
  16. on product ease-of-use and quality of documentation.
  17.  
  18.     Conflict of Interest: NCSA reviewers must have no
  19. interest in the product reviewed which would compromise
  20. the integrity or accuracy of the review.  All reviews
  21. will be signed by their authors.
  22.  
  23.     Procurement of Products: Products may be solicited
  24. directly from manufacturers/software houses on behalf of
  25. the NCSA.  In return for a free evaluation copy, the
  26. product review will become a permanent part of the NCSA
  27. BBS, available for viewing by all members.  After
  28. completion of the review, the reviewer shall be granted
  29. the license to the product.
  30.  
  31.     Evaluation Copies: No review will be performed on a
  32. copy which is limited in function. No review will be
  33. performed on a "beta" version of a product, or any
  34. product which is not available to the product.
  35.  
  36.     Limit of Liability: The NCSA shall assume no
  37. liability for, or make claims of, the capabilities or
  38. fitness of any products.  All reviews shall be carried
  39. out to the best ability of the reviewer/review team, and
  40. be edited if necessary by the NCSA staff.
  41.  
  42.     Comments/Clarifications/Rebuttals: After a product
  43. has been reviewed, the review shall be posted on the
  44. NCSA BBS, and the manufacturer be allowed to comment on
  45. the review for a period of 60 days.  A copy of the
  46. review will also be sent to the manufacturer for their
  47. comment. After such time, the review will be edited if
  48. necessary, based upon the responses of both the
  49. manufacturer and any others who have commented.  The
  50. review will then become part of the permanent library of
  51. the NCSA.  A summary may be placed in the NCSA
  52. newsletter; the full review will be placed on the NCSA
  53. BBS for downloading by members.
  54.  
  55.     Classifications: A detailed system of classification
  56. shall be developed to assist both reviewers and readers
  57. in their respective efforts.  For example, such
  58. categories might include PC Access Control, Data
  59. Encryption, Virus Detection, etc.
  60.  
  61.     Review Outline: The reviewer(s) shall follow the
  62. review outline presented at the end of this document. 
  63. In this way, similar products can be compared directly.
  64.  
  65.     Comparative Reviews: Where possible, a single review
  66. will comprise a category of products. As each new
  67. product within that category is reviewed, the new review
  68. will be merged with the existing reviews. Where
  69. possible, tables will be created comparing products. 
  70. This will be done to aid members in choosing a product.
  71.  
  72.     Product Classification Overviews: In cases where
  73. there are many products in a single category, a review
  74. team may be assigned to evaluate all the reviews and
  75. pick an "NCSA Choice".  This would be the NCSA's
  76. official recommendation, and would be awarded to the
  77. product that best meets the criterion for its category.
  78.  
  79.     Quantitative Ratings: A system of ratings shall be
  80. developed, in order to more easily compare products.  At
  81. the time of review, an NCSA security rating will be
  82. assigned.  This will consist of a number from 0.0 to
  83. 10.0, with 0.0 providing the least security, and 10.0
  84. the most.  A scale shall be developed to aid both
  85. reviewers and readers compare scores (i.e. 6.0-8.0
  86. Average 8.0-10.0 Recommended, etc.). The exact form of
  87. these ratings will be developed over time, as the first
  88. reviews are conducted.
  89.  
  90.     Access to Reviews: Reviews shall be placed in a
  91. restricted area of the NCSA BBS, to enable only dues-
  92. paying members to have access.  Hard copies of the
  93. reports may be requested for a small fee.
  94.  
  95.     Review for Fee: At a manufacturer's or member's
  96. request, NCSA will review a specified product. A fee may
  97. be charged for such review, but this fee will in no way
  98. affect the nature of the review.
  99.  
  100.     Review Content: Each review will contain the
  101. following information:
  102.     * Reviewer(s) name
  103.     * Product name
  104.     * Version of product reviewed (version number and/or
  105. date)
  106.     * Product pricing information
  107.     * Manufacturer name, address, phone.
  108.     * Product category/function.
  109.     * Product description.  This description will have a
  110. heavy emphasis on the security offered by the product,
  111. even if security is not the main focus of the product.
  112.     * Product capabilities. What specific features the
  113. product offers. Such information may be drawn from
  114. marketing materials, but must be verified by the
  115. reviewer.  Such narrative might be presented in bullet
  116. or other narrative format.
  117.     * Definition of categories used in the ratings, and
  118. general rating approach. This definition will be
  119. sufficiently explicit that other reviewers will be able
  120. to apply the method and obtain the same results on this
  121. product. Examples of categories likely to be included:
  122. ease of installation, ease of use, degree of protection
  123. offered, adequacy of documentation, support, accuracy of
  124. manufacturer's claims concerning the product, overall
  125. value.
  126.     * Category ratings, with justification.
  127.     * Summary of ratings, in tabular form.
  128.  
  129.     About this document: The first draft of this document
  130. was prepared by Charles Rutstein, co-sysop of the NCSA
  131. BBS. David Stang revised it.  Comments are invited. 
  132. Write NCSA, Suite 309, 4401-A Connecticut Ave. NW,
  133. Washington DC 20008. Or call NCSA voice 202-364-8252 or
  134. leave a comment to the SYSOP on the NCSA BBS: 202-364-
  135. 1304.
  136.